L'edificio fu inaugurato il 7 marzo 1963. All'epoca, stabilì un record: era infatti il più grande palazzo al mondo a uso esclusivamente commerciale. I suoi uffici erano occupati dalla Pan Am (che era anche la proprietaria dell'intero edificio) e da numerosi altri affittuari business. Il progetto fu sviluppato a partire dal 1958 dallo studio Emery Roth & Sons, con la collaborazione degli acclamati architetti internazionali Walter Gropius e Pietro Belluschi. L'edificio pensato in origine da Emery Roth & Sons era di più modesta entità rispetto al risultato finale e aveva anche una visibilità diversa, in quanto era allineato lungo Park Avenue in direzione nord-sud. L'intervento di Gropius e Belluschi modificò radicalmente il progetto, conferendo al palazzo la sua caratteristica forma di un ottagono schiacciato ed il suo vistoso allineamento est-ovest attraverso Park Avenue. Segno distintivo inconfondibile del grattacielo era la presenza, in cima, su tutte e quattro le facciate, dei simboli della Pan Am. La scritta Pan Am campeggiava trionfale sulle facciate nord e sud, mentre le facciate est e ovest ospitavano il grande logo della società a forma di globo.

 

Fin da prima del suo completamento, il grattacielo subì pesanti critiche non tanto per via del suo design, piuttosto di carattere urbanistico e in relazione al suo intorno. Infatti l'edificio, con la sua sagoma massiccia e poderosa, sovrasta la stazione centrale e si pone a metà di Park Avenue chiudendone qualsiasi continuità visiva. Le critiche si concentrarono ovviamente su Gropius e Belluschi, gli architetti di grande prestigio che ne avevano determinato l'aspetto finale; in particolare Gropius, che era stato fondatore e animatore della Bauhaus e di tutto il movimento moderno, pressato dalle dure critiche, fu costretto a difendersi nel 1965 sulle pagine di Casabella, affermando la dipendenza dell'architetto nei confronti del cliente, indipendentemente da necessità urbanistiche della collettività, e negando in qualche modo i principi del grande movimento architettonico a cui aveva dato alcune delle prime spinte.

 

Nel 1987 un sondaggio del periodico New York mise il grattacielo Pan Am al primo posto tra gli edifici che gli abitanti della Grande Mela vorrebbero veder demoliti. A dispetto di ciò e delle illustri critiche, il Pan Am Building è sempre stato un indirizzo estremamente ambito da imprese e studi professionali. Prestigio e comodità sono i fattori alla base della scelta di avere la sede della propria attività in questo grattacielo: prestigio, in quanto il Pan Am rimane uno degli edifici più famosi ed immediatamente riconoscibili dello skyline di Manhattan; comodità, in quanto si trova subito a ridosso della stazione ferroviaria, il Grand Central Terminal.

 

Il tetto del grattacielo Pan Am fu utilizzato fin dai primi anni per un servizio di trasporto della New York Airways via elicottero fino all'aeroporto internazionale John F. Kennedy. Il 16 maggio 1977, alle ore 175, un incidente, tanto drammatico quanto spettacolare, vide per protagonista un elicottero che stava imbarcando passeggeri proprio dall'eliporto sul tetto dell'edificio, con le pale rotanti in funzione. Quattro passeggeri erano già a bordo, assieme ai tre membri dell'equipaggio, e altri stavano per imbarcarsi quando, improvvisamente, il carrello di atterraggio destro dell'elicottero collassò facendo piegare sulla destra il velivolo; le pale in movimento colpirono alcuni passeggeri che si apprestavano a salire, falciandone e uccidendone quattro tra i quali il regista Michael Findlay e ferendone gravemente una quinta. Inoltre, una delle pale si staccò dal rotore dell'elicottero e si spezzò in due; una delle due metà volò per un paio di isolati e precipitò a terra, all'incrocio tra Madison Avenue e la 43ª strada, provocando un'ulteriore vittima e il ferimento grave di un passante. Da allora il servizio della New York Airways fu sospeso definitivamente.

 

Un altro drammatico fatto di cronaca coinvolse il Pan Am Building. Due anni prima, per l'esattezza il 3 febbraio del 1975, ci fu un altro episodio scioccante: Eli M. Black, all'epoca proprietario e amministratore delegato della United Fruit Company, oggi nota come Chiquita Brands International, frantumò con la propria valigetta una finestra del suo ufficio al 44º piano e si lanciò nel vuoto, trovando la morte sulla sottostante Park Avenue. Una successiva indagine della SEC, la commissione americana per il controllo delle attività di Borsa, volta a investigare i motivi del suicidio di Eli M. Black rivelò il suo coinvolgimento nello scandalo noto come Bananagate, ovvero il pagamento, da parte della United Brands Company, di ingenti somme di denaro al presidente dell'Honduras in cambio di una forte riduzione delle tasse che il Paese applicava sull'esportazione delle banane.